arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日__

arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日

可下载资源数量

已经购买

下载数量：1

单价	0 1.0
Coupon	100% 0%
Total	0 1.0

点击下载点击购买并下载

点击购买，资源将自动在新窗口打开.

机构名称：

arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日

¥ 1.0

热度

我们提出了 MatSci-NLP，一种用于评估自然语言处理 (NLP) 模型在材料科学文本上的性能的自然语言基准。我们根据公开的材料科学文本数据构建基准，涵盖七种不同的 NLP 任务，包括命名实体识别和关系分类等传统 NLP 任务，以及特定于材料科学的 NLP 任务，例如与创建材料合成程序有关的合成动作检索。我们研究了在 MatSci-NLP 上在不同科学文本语料库上预训练的各种基于 BERT 的模型，以了解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量注释数据的稀缺，我们使用有限的训练数据进行微调实验，以促进在 MatSci-NLP 任务中的推广。我们在这种低资源训练环境中进行的实验表明，在科学文本上预训练的语言模型比在一般文本上训练的 BERT 表现更好。Mat-BERT 是一种专门针对材料科学期刊进行预训练的模型，通常在大多数任务中表现最佳。此外，我们提出了一种用于 MatSci-NLP 多任务学习的统一文本到模式，并将其性能与传统微调方法进行了比较。在对不同训练方法的分析中，我们发现我们提出的受问答启发的文本到模式方法始终优于单任务和多任务 NLP 微调方法。代码和数据集是公开可用的 1 。

添加pdf代下载 VIP点击下载文件